একটি শিক্ষিত জাতি বিনির্মানে শিক্ষিত মায়ের ভূমিকা অপরিহার্য। শিক্ষিত মা তৈরীর জন্য প্রয়োজন মানসম্মত নারী শিক্ষার সুবিধা সম্বলিত শিক্ষা প্রতিষ্ঠান। মানিকগঞ্জ জেলার ঝিটকা বন্দর একটি ঐতিহ্যবাহী ব্যবসা কেন্দ্র। ইহার সন্নিহিত হরিরামপুর, শিবালয় ও ঘিওর উপজেলার বিস্তীর্ণ এলাকার সাথে সহজ যোগাযোগ ব্যবস্থা বিদ্যমান থাকা সত্বেও এতদাঞ্চলে নারী শিক্ষার অনুকূল কোন উচ্চ শিক্ষা প্রতিষ্ঠান না থাকায় এলাকার শিক্ষানুরাগী ব্যক্তিবর্গ দীর্ঘদিন যাবত ঝিটকা এলাকায় একটি কলেজ প্রতিষ্ঠার প্রয়োজনীয়তা অনুভব করে আসছিলেন। এমতাবস্থায় ১৯৯৪ সনের ১৮ই মার্চ তারিখে অত্র এলাকার বিশিষ্টজনদের উপস্থিতিতে এক সভায় ঝিটকায় একটি মহিলা কলেজ স্থাপনের সিদ্ধান্ত হয়।
উক্ত সভায় উপস্থিত ব্যক্তিবর্গের মধ্যে সাবেক উপজেলা চেয়ারম্যান জনাব তালিব হোসেন, জনাব আব্দুর রউফ আকন্দ, জনাব মোঃ রহমত আলী মাস্টার, জনাব রফিকুল ইসলাম মুকুল, এ্যাডঃ কায়েস উদ্দিন ভূইয়া, জনাব মোঃ বিল্লাল হোসেন খান, জনাব জে.পি.এম সালাহউদ্দিন বুলবুল, ডাঃ আব্দুল্লাহ আল মামুন অন্যতম। সভায় উপস্থিত জনাব মোঃ রহমত আলী মাস্টার ঝিটকা বহুমূখী বালিকা বিদ্যালয় প্রতিষ্ঠার ক্ষেত্রে উহার প্রতিষ্ঠাতা সম্পাদক ও পরবর্তীতে সভাপতি হিসেবে এ্যাডভোকেট খাজা মোঃ মহমত আলীর অবদানের কথা স্মরণ করে তাঁর নামেই প্রস্তাবিত কলেজের নামকরণের প্রস্তাব করেন। পরবর্তীতে ২৩ মার্চ ১৯৯৪ তারিখে জনাব তালিব হোসেন এর সভাপতিত্বে অনুষ্ঠিত সভায় জনাব খাজা মোঃ রহমত আলী কলেজের জন্য ০৩ (তিন) একর জমি ও অন্যান্য প্রয়োজনীয় সরঞ্জামাদি দানে সম্মতি জ্ঞাপন করলে প্রস্তাবিত কলেজের নাম ঝিটকা খাজা রহমত আলী মহিলা কলেজ করার সিদ্ধান্ত হয়। প্রথম দিকে কলেজের কার্যক্রম ঝিটকা আনন্দ মোহন উচ্চ বিদ্যালয়ে চলতে থাকে। কলেজ সাংগঠনিক কমিটির ৬ জানুয়ারি ১৯৯৫ তারিখের সভায় সিদ্ধান্তক্রমে কলেজের নাম পরিবর্তন করে ঝিটকা খাজা রহমত আলী কলেজ করা হয়। অতঃপর জনাব খাজা মোঃ রহমত আলী সাহেবের দানকৃত কলেজের নিজস্ব ক্যাম্পাসে দুটি টিনসেড ভবনে কলেজের কার্যক্রম শুরু হয়। কিন্তু ২৮ মে ১৯৯৬ তারিখের প্রলয়ংকরী ঘূর্নিঝড়ে কলেজ ভবন দুটি সম্পূর্ণরুপে বিধ্বস্ত হয়। অতঃপর পুনঃনির্মিত ভবনে কলেজের কার্যক্রম যথারীতি চলতে থাকে। ১৯৯৫-৯৬ শিক্ষাবর্ষ হতে কলেজ ঢাকা শিক্ষা বোর্ডের অনুমতি লাভ করে। ১৯৯৮-৯৯ শিক্ষাবর্ষ হতে কলেজটি মানবিক, বিজ্ঞান ও ব্যবসায় শিক্ষা শাখায় ঢাকা বোর্ডের স্বীকৃতি লাভ করে। কলেজ গভর্নিং বডির নিবির তত্বাবধানে অধ্যক্ষের নেতৃত্বে শিক্ষকগনের অক্লান্ত প্রচেষ্টায় কলেজ বোর্ড পরীক্ষায় কলেজ বোর্ড পরীক্ষায় ভাল ফলাফল অর্জন করতে থাকে।
২০০০-০১ অর্থবছরে কলেজটি এমপিও ভূক্ত হয়। ২০০১-০২ শিক্ষাবর্ষ হতে ঝিটকা খাজা রহমত আলী কলেজ বিএ, বিএসএস ও বিবিএস এই তিনটি শাখায় জাতীয় বিশ্ববিদ্যালয়ের অধিভুক্তি লাভ করে। ২০০২ সার হতে কলেজের ডিগ্রী স্তর এমপিও ভূক্ত হয়। ২০০২-০৩ শিক্ষাবর্ষ হতে কলেজ বাংলাদেশ কারিগরি শিক্ষা বোর্ডের অধীনে এইচএসসি (বিএমটি) শিক্ষাক্রমের স্বীকৃতি লাভ করে। বর্তমানে এইচএসসি (বিএমটি) শাখায় কম্পিউটারাইজড একাউন্টিং সিস্টেম, ডিজিটাল টেকনোলজি ইন বিজনেস, হিউম্যান রিসোর্স ডেভেলপমেন্ট শিক্ষাক্রম চালু আছে। ২০১০ সাল হতে এইচএসসি (বিএমটি) শাখা এমপিও ভুক্ত হয়। ২০১৬-১৭ শিক্ষাবর্ষে জাতীয় বিশ্ববিদ্যালয়ের অধীনে বাংলা, ইংরেজী, হিসাববিজ্ঞান ও ব্যবস্থাপনা বিষয়ে অনার্স কোর্স চালু হয়েছে। কলেজের সকল পাবলিক পরীক্ষার ফলাফল সন্তোষজনক। জাতীয় শিক্ষানীতি-২০১০ এর আলোকে একটি বিজ্ঞান মনস্ক, সার্বজনিন কর্মমুখী শিক্ষা বাস্তবায়ন প্রচেষ্টায় অত্র কলেজ সদা সচেষ্ট।